PJ-RoPE: Espacio Fourier-Jet-Afin para Atención Relativa
PJ-RoPE unifica RoPE, Jordan-RoPE y ALiBi en un espacio aprendible. Mejora la estabilidad y la precisión en tareas de lenguaje y música.
#atención relativa
Transformers Platónicos: Una Opción Sólida para Equivarianza
Aprende cómo los Transformers Platónicos ofrecen equivarianza geométrica sin sobrecarga computacional, ideal para visión, nubes de puntos y química.